Layer normalization

Batch Normalization같은 경우에는 기존의 방식으로는 RNN과 같은 순차적 모델에는 이용이 불가능했다. 이를 해결하기 위해 Layer 기준으로 묶어 Normalization를 진행하는 방법이다.

\overset{s_{i}}{^} = α_{i} \frac{s _{i} - μ _{i}}{σ _{i}^{2} + ϵ} + β_{i}

:when $μ_{i} = \frac{1}{∣ Z ∣} s_{i} \in Z \sum s_{i}$ , $σ_{i}^{2} = \frac{1}{∣ Z ∣} s_{i} \in Z \sum (s_{i} - μ_{i})^{2}$

$Z$ 은 layer 속 node들, $i$ 는 $i$ 번째 Node임을 의미한다.
즉, $s_{i} = w_{i}^{⊤} z$ 를 통해 만들어지는 score이며, 해당 score에 대해 layer 단위로 정규화를 진행한다.